终身学习代理能够不断从潜在的图案感官数据流中学习。以这种方式适应的建筑物的一个主要历史困难是,在新样本中学习时,神经系统难以保留先前获得的知识。这个问题被称为灾难性忘记(干扰),并且在机器域中仍然是当天的机器域中的未解决问题。在几十年中,忘记了前馈网络的背景下,在诸如尊重的自组织地图(SOM)的替代架构中,在替代架构(SOM)的背景下,这是一个常用于任务的无监督的神经模型作为聚类和维度减少。虽然其内部神经元之间的竞争可能具有提高内存保留的可能性,但我们观察到在任务增量数据上培训的固定尺寸SOM培训,即,它以某些时间增量接收与特定类相关的数据点,经历重大遗忘。在这项研究中,我们提出了连续的SOM(C-SOM),一种能够在处理信息时减少自己遗忘的模型。
translated by 谷歌翻译
The circular coordinates algorithm of de Silva, Morozov, and Vejdemo-Johansson takes as input a dataset together with a cohomology class representing a $1$-dimensional hole in the data; the output is a map from the data into the circle that captures this hole, and that is of minimum energy in a suitable sense. However, when applied to several cohomology classes, the output circle-valued maps can be "geometrically correlated" even if the chosen cohomology classes are linearly independent. It is shown in the original work that less correlated maps can be obtained with suitable integer linear combinations of the cohomology classes, with the linear combinations being chosen by inspection. In this paper, we identify a formal notion of geometric correlation between circle-valued maps which, in the Riemannian manifold case, corresponds to the Dirichlet form, a bilinear form derived from the Dirichlet energy. We describe a systematic procedure for constructing low energy torus-valued maps on data, starting from a set of linearly independent cohomology classes. We showcase our procedure with computational examples. Our main algorithm is based on the Lenstra--Lenstra--Lov\'asz algorithm from computational number theory.
translated by 谷歌翻译
This paper presents a state-of-the-art optimal controller for quadruped locomotion. The robot dynamics is represented using a single rigid body (SRB) model. A linear time-varying model predictive controller (LTV MPC) is proposed by using linearization schemes. Simulation results show that the LTV MPC can execute various gaits, such as trot and crawl, and is capable of tracking desired reference trajectories even under unknown external disturbances. The LTV MPC is implemented as a quadratic program using qpOASES through the CasADi interface at 50 Hz. The proposed MPC can reach up to 1 m/s top speed with an acceleration of 0.5 m/s2 executing a trot gait. The implementation is available at https:// github.com/AndrewZheng-1011/Quad_ConvexMPC
translated by 谷歌翻译
通过医学成像检测疾病是由于其非侵入性的。医学成像支持多种数据模式,可以在人体内部进行彻底快速的外观。但是,解释成像数据通常是耗时的,需要大量的人类专业知识。深度学习模型可以加快解释并减轻人类专家的工作。但是,这些模型是数据密集型的,需要大量标记的图像进行培训。在新型疾病暴发(例如Covid-19)中,我们通常没有所需的标记成像数据,尤其是在流行病开始时。深度转移学习通过在公共领域中使用验证的模型来解决此问题,例如任何VGGNET,RESNET,INCEPTION,DENSENET等的变体都是功能学习者,以快速从较少的样本中适应目标任务。大多数审慎的模型都是深层建筑的深度。他们接受了大型多级数据集(例如ImageNet)的培训,并在建筑设计和超级参数调整方面进行了重大努力。我们提出了1个更简单的生成源模型,在单个但相关的概念上预估计,可以与现有较大的预审预周化模型一样有效。我们证明了生成转移学习的有用性,该学习需要较少的计算和培训数据,对于少数射击学习(FSL),使用COVID-19-19,二进制分类用例。我们将经典的深度转移学习与我们的方法进行了比较,还报告了FSL结果,三个设置为84、20和10个培训样本。用于COVID-19分类的生成FSL的模型实现可在https://github.com/suvarnak/generativefslcovid.git上公开获得。
translated by 谷歌翻译
作为一种广泛使用的弱监督学习计划,现代多重实例学习(MIL)模型在袋子级别上实现了竞争性能。但是,实例级别的预测对于许多重要的应用至关重要,在很大程度上不令人满意。我们建议进行新颖的活跃的深层实例学习,以对注释的一小部分信息实例进行样本,以显着提高实例级别的预测。差异正规损耗函数旨在正确地平衡实例级预测的偏差和差异,旨在有效地适应MIL和其他基本挑战中高度不平衡的实例分布。我们不是直接最大程度地减少非凸的正规损失,而是优化了分布稳健的袋子水平的可能性作为其凸代替代物。强大的袋子的可能性可以很好地近似基于方差的MIL损失,并具有强大的理论保证。它还可以自动平衡偏见和差异,从而有效地确定支持主动采样的潜在积极实例。强大的袋子可能性可以自然地与深度建筑一起融合,以支持深层模型训练,使用小批量的正面袋对。最后,开发了一种新型的P-F采样函数,该功能结合了概率向量和预测实例分数,通过优化健壮的袋子可能性获得。通过利用关键的MIL假设,采样函数可以探索最具挑战性的袋子,并有效地检测其积极的注释实例,从而显着改善了实例级别的预测。通过多个现实世界数据集进行的实验清楚地证明了该模型实现的最新实例级别的预测。
translated by 谷歌翻译
经典的机器学习范式需要在中心位置汇总用户数据,在该位置,机器学习实践者可以预处理数据,计算功能,调整模型并评估性能。这种方法的优点包括利用高性能硬件(例如GPU)以及机器学习实践者在深度数据分析中进行的能力以提高模型性能。但是,这些优势可能是为了支付数据隐私的费用。收集,汇总并存储在集中式服务器上以进行模型开发。数据集中构成风险,包括内部和外部安全事件的风险增加以及意外数据滥用。具有不同隐私的联合学习旨在通过将ML学习步骤带给用户的设备来避免服务器端集中化陷阱。学习是以联合方式完成的,每个移动设备都在模型的本地副本上运行一个训练循环。来自设备模型的更新通过加密通信和通过差异隐私发送到服务器,以改善全局模型。在此范式中,用户的个人数据仍在其设备上。令人惊讶的是,以这种方式培训模型培训的模型性能差异很小。但是,由于其分布式性质,异质计算环境和缺乏数据可见性,联邦学习带来了许多其他挑战。本文探讨了这些挑战,并概述了我们正在探索和测试的建筑设计解决方案,以在元评估中生产联合学习。
translated by 谷歌翻译
我们介绍了用于有效索引字符串的RadixStringsPline(RSS)学习索引结构。RSS是一个基数树,每个索引固定数量的字节。RSS方法或超过传统字符串索引的性能,同时使用7-70 $ \ times $少的内存。RSS通过使用最小的字符串前缀来实现这一目标,以充分区分数据与索引整个字符串的大多数探测方法不同的数据。此外,RSS的界限错误性质加速了最后一英里的搜索,也可以启用内存有效的哈希表查找加速器。我们对艺术和热门的几个真实弦乐数据集进行基准RSS。我们的实验表明,这种研究线可能对未来的内存密集型数据库应用有望。
translated by 谷歌翻译
基于细粒的草图的图像检索(FG-SBIR)旨在找到来自给定查询草图的大型画廊的特定图像。尽管FG-SBIR在许多关键域中进行了广泛适用性(例如,犯罪活动跟踪),但现有的方法仍然遭受低精度,同时对外部噪声敏感,例如草图中不必要的笔画。在更实际的在飞行环境下,检索性能将进一步恶化,其中仅具有少数(噪声)笔划的部分完整的草图可用于检索相应的图像。我们提出了一种新颖的框架,利用了一个独特设计的深度加强学习模型,该模型执行双层探索,以处理部分素描训练和注意区域选择。通过对模型的注意力对原始草图的重要地区实施,对不必要的行程噪声仍然坚固,并通过大边距提高检索准确性。为了充分探索部分草图并找到要参加的重要区域,该模型在调整控制本地探索的定位器网络的标准偏差项时,该模型对全局探索进行引导策略梯度。培训过程是由混合损失引导的,融合了强化损失和监督损失。开发了一种动态排名奖励,以使用部分草图来适应随机图像检索过程。在三个公共数据集上执行的广泛实验表明,我们的建议方法在部分草图基于图像检索上实现了最先进的性能。
translated by 谷歌翻译
计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测,对象分割和/或对象姿势估计。但是,由于以下原因,在实践中不可行:1)预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别,2)佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能,3)预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点,我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理,因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域,以最终的方式提高潜在的任务的性能。在这方面,我们提出了一种称为“共分割激活模块”(COSAM)的通用模块,其可以被插入任何CNN,以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1)基于视频的人Re-ID,2)视频字幕分类,并证明COSAM能够在视频帧中捕获突出区域,从而引导对于显着的性能改进以及可解释的关注图。
translated by 谷歌翻译
我们提出了一种新的方法,即使用最佳运输(结)的知识蒸馏,以将自然语言知识从多个教师网络提炼到学生网络。结的旨在通过学习将标签上指定概率分配的最佳运输成本最小化,以培训(全球)学生模型,以在(本地)教师模型(在学生模型的限制下)预测的加权总和。无法访问教师模型的参数或培训数据。为了评估知识转移的质量,我们引入了一个新的度量,语义距离(SD),该指标衡量了预测的真相标签分布之间的语义亲密关系。所提出的方法显示了在三个NLP任务上,在基准的基线方面,在基于熵的蒸馏方面对标准精度和F1指标进行表现,在基线上的SD性能有所改善。与这项工作有关的实现可公开可用:https://github.com/declare-lab/knot。
translated by 谷歌翻译